CF-104 bắt đầu hoạt động trong biên chế của RCAF vào tháng 3 năm 1962. Ban đầu nó được thiết ekes như một máy bay tiêm kích đánh chặn tốc độ âm thanh, nó được sử dụng cho nhiệm vụ chính là tấn công ở độ cao thấp và trinh sát bởi RCAF. Các phi đội CF-104 đồn trú ở Châu Âu là một phần cam kết của Canada đối với NATO. Đến năm 1971, CF-104 được thêm vào vai trò tấn công hạt nhân, những chiếc CF-104 đã được trang bị vũ khí hạt nhân của Hoa Kỳ trong cuộc xung đột với các lực lượng của Khối Warszawa.

Trong thời gian hoạt động của mình, đã có khoảng 110 chiếc CF-104 bị mất do tai nạn, dẫn đến CF-104 có biệt danh là "Widowmaker" hay "Lawn Dart" trong không quân.

CF-104 đã được thay thế bởi CF-18 Hornet và ngừng hoạt động trong các đơn vị vũ trang của Canada vào năm 1987. Những máy bay còn lại được bán cho Thổ Nhĩ Kỳ.